Code generation models have achieved impressive performance. However, they tend to be brittle as slight edits to a prompt could lead to very different generations; these robustness properties, critical for user experience when deployed in real-life applications, are not well understood. Most existing works on robustness in text or code tasks have focused on classification, while robustness in generation tasks is an uncharted area and to date there is no comprehensive benchmark for robustness in code generation. In this paper, we propose ReCode, a comprehensive robustness evaluation benchmark for code generation models. We customize over 30 transformations specifically for code on docstrings, function and variable names, code syntax, and code format. They are carefully designed to be natural in real-life coding practice, preserve the original semantic meaning, and thus provide multifaceted assessments of a model's robustness performance. With human annotators, we verified that over 90% of the perturbed prompts do not alter the semantic meaning of the original prompt. In addition, we define robustness metrics for code generation models considering the worst-case behavior under each type of perturbation, taking advantage of the fact that executing the generated code can serve as objective evaluation. We demonstrate ReCode on SOTA models using HumanEval, MBPP, as well as function completion tasks derived from them. Interesting observations include: better robustness for CodeGen over InCoder and GPT-J; models are most sensitive to syntax perturbations; more challenging robustness evaluation on MBPP over HumanEval.

While pre-trained language models (LM) for code have achieved great success in code completion, they generate code conditioned only on the contents within the file, i.e., in-file context, but ignore the rich semantics in other files within the same project, i.e., cross-file context, a critical source of information that is especially useful in modern modular software development. Such overlooking constrains code language models' capacity in code completion, leading to unexpected behaviors such as generating hallucinated class member functions or function calls with unexpected arguments. In this work, we develop a cross-file context finder tool, CCFINDER, that effectively locates and retrieves the most relevant cross-file context. We propose CoCoMIC, a framework that incorporates cross-file context to learn the in-file and cross-file context jointly on top of pretrained code LMs. CoCoMIC successfully improves the existing code LM with a 19.30% relative increase in exact match and a 15.41% relative increase in identifier matching for code completion when the cross-file context is provided.

This paper mainly describes the dma submission to the TempoWiC task, which achieves a macro-F1 score of 77.05% and attains the first place in this task. We first explore the impact of different pre-trained language models. Then we adopt data cleaning, data augmentation, and adversarial training strategies to enhance the model generalization and robustness. For further improvement, we integrate POS information and word semantic representation using a Mixture-of-Experts (MoE) approach. The experimental results show that MoE can overcome the feature overuse issue and combine the context, POS, and word semantic features well. Additionally, we use a model ensemble method for the final prediction, which has been proven effective by many research works.

本文提出了Salenet-端到端卷积神经网络（CNN），用于使用前额叶脑电图（EEG）进行持续注意水平评估。提出了一种偏置驱动的修剪方法，以及小组卷积，全局平均池（GAP），接近零的修剪，重量聚类和模型压缩的量化，达到183.11x的总压缩比。在这项工作中，压缩的分配器在记录的6个受试者EEG数据库上获得了最新的主题无关的持续注意力分类精度为84.2％。该沙发在ARTIX-7 FPGA上实施，竞争功耗为0.11 W，能源效率为8.19 GOPS/W。

配备高速数字化器的前端电子设备正在使用并建议将来的核检测器。最近的文献表明，在处理来自核检测器的数字信号时，深度学习模型，尤其是一维卷积神经网络。模拟和实验证明了该领域神经网络的令人满意的准确性和其他好处。但是，仍需要研究特定的硬件加速在线操作。在这项工作中，我们介绍了Pulsedl-II，这是一种专门设计的，专门为事件功能（时间，能量等）从具有深度学习的脉冲中提取的应用。根据先前的版本，PULSEDL-II将RISC CPU纳入系统结构，以更好地功能灵活性和完整性。 SOC中的神经网络加速器采用三级（算术单元，处理元件，神经网络）层次结构，并促进数字设计的参数优化。此外，我们设计了一种量化方案和相关的实现方法（恢复和位移位），以在所选层类型的选定子集中与深度学习框架（例如Tensorflow）完全兼容。通过当前方案，支持神经网络的量化训练，并通过专用脚本自动将网络模型转换为RISC CPU软件，几乎没有准确性损失。我们在现场可编程门阵列（FPGA）上验证pulsedl-ii。最后，通过由直接数字合成（DDS）信号发生器和带有模数转换器（ADC）的FPGA开发板组成的实验设置进行系统验证。拟议的系统实现了60 PS的时间分辨率和0.40％的能量分辨率，在线神经网络推断在信号与噪声比（SNR）为47.4 dB时。

在现实世界中，尽管对该领域的兴趣激增，但在稀疏回报协同环境下进行的加强学习仍然具有挑战性。先前的尝试表明，内在的奖励可以减轻稀疏引起的问题。在本文中，我们提出了一种新颖的固有奖励，该奖励受人类学习的启发，因为人类通过将当前的观察结果与历史知识进行比较来评估好奇心。具体而言，我们训练一个自我监督的预测模型，并保存一组模型参数的快照，而不会产生加法培训成本。然后，我们采用核规范来评估不同快照的预测之间的时间不一致，这可以进一步部署为内在的奖励。此外，提出了一种变异的加权机制，以自适应方式将权重分配给不同的快照。我们证明了所提出的方法在各种基准环境中的功效。结果表明，与其他基于奖励的方法相比，我们的方法可以提供压倒性的最先进性能，而不会产生额外的培训成本并保持更高的噪声耐受性。我们的代码将公开发布以提高可重复性。

外部奖励的稀疏性对加强学习（RL）构成了严重的挑战。当前，对好奇心已经做出了许多努力，这些努力可以为有效探索提供代表性的内在奖励。但是，挑战尚未得到解决。在本文中，我们提出了一种名为Dymecu的RL的好奇心，它代表了基于动态记忆的好奇心。受到人类好奇心和信息理论的启发，Dymecu由动态记忆和双重在线学习者组成。好奇心引起的话，如果记忆的信息无法处理当前状态，并且双重学习者之间的信息差距可以作为对代理的内在奖励进行表述，然后可以将这些状态信息巩固到动态内存中。与以前的好奇方法相比，dymecu可以更好地模仿人类的好奇心与动态记忆，并且可以根据双重学习者的引导范式动态地生长内存模块。在包括DeepMind Control Suite和Atari Suite在内的多个基准测试中，进行了大规模的经验实验，结果表明，Dymecu在有或没有外部奖励的情况下优于基于好奇心的方法。我们将发布代码以增强可重复性。

由于文档的复杂布局，提取文档的信息是一项挑战。大多数以前的研究以一种自我监督的方式开发了多模式预训练的模型。在本文中，我们专注于包含文本和布局信息的单词块的嵌入学习，并提出UTEL，这是具有统一文本和布局预训练的语言模型。具体而言，我们提出了两个预训练任务：布局学习的周围单词预测（SWP），以及对识别不同单词块的单词嵌入（CWE）的对比度学习。此外，我们用1D剪裁的相对位置嵌入了常用的一维位置。这样，掩盖布局语言建模（MLLM）的联合训练和两个新提出的任务可以以统一的方式在语义和空间特征之间进行相互作用。此外，提议的UTEL可以通过删除1D位置嵌入，同时保持竞争性能来处理任意长度的序列。广泛的实验结果表明，UTEL学会了比以前在各种下游任务上的方法更好的联合表示形式，尽管不需要图像模式。代码可在\ url {https://github.com/taosong2019/utel}中获得。

无人驾驶汽车（UAV）已被广泛用于军事战。在本文中，我们将自动运动控制（AMC）问题作为马尔可夫决策过程（MDP），并提出了一种先进的深度强化学习（DRL）方法，该方法允许无人机在大型动态三维（3D）中执行复杂的任务）环境。为了克服优先体验重播（PER）算法的局限性并提高性能，拟议的异步课程体验重播（ACER）使用多线程来异步更新优先级，分配了真实优先级，并应用了临时体验池，以使可用的更高体验可用学习质量。还引入了第一个无用的体验池（FIUO）体验池，以确保存储体验的更高使用价值。此外，与课程学习（CL）相结合，从简单到困难的抽样体验进行了更合理的培训范式，设计用于培训无人机。通过在基于真实无人机的参数构建的复杂未知环境中训练，提议的ACER将收敛速度提高24.66 \％，而与最先进的双胞胎延迟的深层确定性相比策略梯度（TD3）算法。在具有不同复杂性的环境中进行的测试实验表明，ACER剂的鲁棒性和泛化能力。

Federated学习（FL）最近已成为流行的隐私合作学习范式。但是，它遭受了客户之间非独立和相同分布的（非IID）数据的困扰。在本文中，我们提出了一个新颖的框架，称为合成数据辅助联合学习（SDA-FL），以通过共享合成数据来解决这一非IID挑战。具体而言，每个客户端都预测了本地生成对抗网络（GAN）以生成差异化私有合成数据，这些数据被上传到参数服务器（PS）以构建全局共享的合成数据集。为了为合成数据集生成自信的伪标签，我们还提出了PS执行的迭代伪标记机制。本地私人数据集和合成数据集与自信的伪标签的结合可导致客户之间的数据分布几乎相同，从而提高了本地模型之间的一致性并使全球聚合受益。广泛的实验证明，在监督和半监督的设置下，所提出的框架在几个基准数据集中的大幅度优于基线方法。